Double Preconditioning (DoPr): Optimization for Test-Time Performance, not Validation Loss
双重预处理（DoPr）：优化测试时性能而非验证损失
🧭 训练优化 · 测试时反馈
University of Pennsylvania · Carnegie Mellon University · Amazon FAR
提出双重预处理（DoPr）结合梯度与激活预处理，提升自回归等测试时反馈场景下的下游性能，且不一定改善验证损失。
📌 工作参考价值（4 点）
- 在自回归生成、多步推理等测试时反馈场景中，可直接将 DoPr 作为即插即用的训练方案，减少误差累积，提升下游任务成功率。
- 对于电商 Agent 的规划、工具调用等需要多步 rollout 的任务，DoPr 提供了一种不依赖昂贵 RL 微调的轻量优化思路。
- 激活预处理（AP）强调层间特征学习的均匀性，这可以迁移到推荐模型中，潜在地改善特征交互与泛化，尤其在 generation-based RecSys 中值得尝试。
- 验证损失与下游指标脱钩的发现提醒：在评估生成式推荐或多步 Agent 时，不能仅追求单步预测损失，应直接观测 rollout 质量或任务完成率。